MemoryAthena: Adaptive Routing over Latent and Generated Memories
MemoryAthena：潜在记忆与生成记忆的自适应路由
🧭 记忆增强 LLM · 检索与生成记忆自适应路由
ELLIS Institute of Finland · University of Turku · University of Technology Sydney · University of Science and Technology of China · Shanghai Jiao Tong University
冻结骨干下训练轻量因果路由头，以 Engram 检索为锚对生成记忆做有界插值干预，QA/NLP 多任务平均提升
📌 工作参考价值（4 点）
- 在 RAG / 记忆增强推荐或 Agent 系统中，可把直接检索结果作为 anchor，生成式候选只做有界插值；当路由判断收益为负或不显著时回退到检索结果。这种“拒绝即恢复 baseline”的设计适合线上安全上线，避免生成内容污染原始记忆。
- 冻结大模型主干，仅训练轻量因果路由头，用反事实未来 token 似然优势作为监督信号。业务上可对用户/商品记忆的多路候选（如 item embedding、LLM 生成的用户兴趣 summary、序列隐状态）训练一个小 router 决定选用或融合，无需微调主模型。
- GE 和 GH 的分离值得借鉴：一路从检索到的线索生成，一路直接从模型 contextual state 生成。推荐场景可分别对应“基于召回的候选生成”与“基于用户序列隐状态的候选生成”，并让 router 在两者之间选择或插值。
- 论文中的 oracle 互补分析提示：多路记忆虽然真实路由头不能完全释放上限，但可离线构造 gold-label oracle 评估各路潜在价值，再决定是否投入训练更复杂的 router。